LLM-as-a-Judge for Evaluating System Responses in Conversational Music Recommendation
对话式音乐推荐中LLM-as-a-Judge评估系统响应可靠性研究
🧭 对话推荐系统评估 · LLM-as-a-Judge
KAIST · Deezer Research · SiriusXM · Idiap Research Institute
首次实证验证LLM评判者与人类在对话推荐响应评估中的对齐度，发现中等正相关且优于参考基线
📌 工作参考价值（4 点）
- 低成本自动评估对话推荐响应：在电商客服Bot或导购Agent中，可直接复用LLM-as-a-Judge方案，从个性化和解释质量两个维度打分，替代昂贵的人工评估。
- 提升评判可靠性的工程技巧：使用更大规模的LLM（如GPT-4）并输入完整对话历史，能显著提升与人工评分的相关性。建议在链路上注入用户画像和上下文，而非仅看单轮响应。
- 评估标准可迁移：个性化和解释质量这两个维度可直接用于商品推荐的对话评估，只需将评测Prompt中的物品描述替换为商品属性。
- 相关性分析方法：Bootstrap相关性分析能稳健衡量评判器与人类的一致性，可作为搭建内部自动评估体系的统计框架。